Sau khi trở thành Thái thượng hoàng, Đường Cao Tổ đã không cố gắng gây ảnh hưởng đến việc trị quốc của Đường Thái Tông. Đường Thái Tông ngay lập tức đã đảo ngược một số chính sách của ông, bao gồm việc phong nhiều thân thích làm thân vương, theo đó hầu hết các vương bị giáng tước là công, hay giảm bớt 3000 thị nữ. Năm 629, Thái thượng hoàng chuyển chỗ ở từ Thái Cực điện (太極殿) đến Hoằng Nghĩa điện (弘義宮), và đổi tên thành Đại An cung (大安宮). Sau đó, Đường Thái Tông mới có thể chuyển từ Đông cung đến Thái Cực điện.

Trong suốt thời gian cai trị của mình, Đường Cao Tổ đã phải cống nạp cho Đông Đột Quyết, đến khi biết tin Đường Thái Tông đã giành chiến thắng và bắt được Hiệt Lợi khả hãn, Đường Cao Tổ nói: "Hán Cao Tổ khốn ở Bạch Đăng (白登, nay thuộc Đại Đồng, Sơn Tây), không thể báo thù. Nay con ta có thể diệt Đột Quyết. Ta đã phó thác quốc gia cho người phù hợp, còn gì phải ưu sầu chứ?".[4] Sau đó, Thái thượng hoàng triệu một số hoàng tử và công chúa, cùng các quan lại cấp cao đến ăn mừng chiến thắng, tự mình chơi đàn tỳ bà và yêu cầu quan khách nhảy theo điệu nhạc.

Do Trường An thường nóng bức vào mùa hè, Đường Thái Tông thường mời phụ hoàng cùng đến nghỉ tại Cửu Thành cung (九成宮, nay thuộc Bảo Kê, Thiểm Tây) tránh nóng. Tuy nhiên, do đây cũng là nơi Tùy Văn Đế đã qua đời (thời Tùy gọi là Nhân Thọ cung), Thái thượng hoàng không muốn đến Cửu Thành cung. Năm 634, Đường Thái Tông bắt đầu cho xây một cung điện khác là Đại Minh cung (大明宮) cho Đường Cao Tổ tránh nóng, song Đường Cao Tổ đã lâm bệnh trước khi cung này hoàn thành, và ông cũng chưa từng viếng thăm Đại Minh cung.

Đường Cao Tổ qua đời vào mùa xuân năm 635, thụy hiệu là Thái Vũ hoàng đế (太武皇帝), táng tại Hiến lăng (献陵). Qua các đời sau, thụy hiệu của ông dần dần được tôn lên đầy đủ là Thần Nghiêu Đại Thánh Đại Quang Hiếu Hoàng Đế (神堯大聖大光孝皇帝).